Rich Sutton在访谈中批评当前大模型路线陷入“局部最优”,认为其缺乏持续学习能力,并指出合成数据路线是“大错误”。他介绍了与Khurram Javed创办的Oak Lab,旨在开发能从自身经验中持续学习的AI Agent,并探讨了灾难性遗忘、Step-size Optimization、Continual Backprop等底层算法问题。